Abstract & Introduction
卖点
- 作者研究了一种新的NLP迁移学习范式——提示学习，对幽默识别的有效性。
- 低资源时，promp learning的性能 比fine-tuning 出色
- 大量资源时，两者旗鼓相当
- 作者通过影响函数（Influence function， IF）来分析幽默和冒犯之间的关系
- 模型可以通过冒犯来判断是否幽默
- 在幽默中检测冒犯可以利用IF来辅助
交代一些背景
- 幽默调节人类交流，因此，通过计算建模，它有望改善人机交互体验
- 正如幽默优越论所描述（激发幽默的原因是主体产生了对客体的藐视，嘲笑等优越行为），一些幽默识别数据集很可能包含令人反感的“幽默”内容，例如对女性的反感。这是不可取的，因为基于机器学习的NLP系统，例如虚拟助手，永远不应该对用户的“给我讲个笑话！”，产生冒犯的响应。因此，在对幽默进行计算建模时，识别、减轻和减少冒犯至关重要。
Method
fine-tuning： BERT
prompting：
Influence Functions（IF）
- 作者利用IF来计算每一个训练样本的影响分数。影响分数越高说明这个训练样本对于测试结果影响较大。
Datasets
human-annotated HaHackathon Dataset (HHD) of SemEval 2021 Task 7
- 一个二元幽默标签和1到5的冒犯分数
HHD包含涵盖八个类别的幽默文本，包括性别歧视、身体、起源等。在这项工作中，作者只构建性别歧视方面的数据，称为Gender Humor Dataset（GHD）
- 作者做了平衡类别：性别歧视和非性别歧视的样本中幽默和非幽默的类别是均衡的
- 数据集划分：使用80%的示例进行培训，20%的示例进行测试。
- 样本的冒犯分数分布：
Experiment
Comparing Finetuning and Prompting Humor Recognition Methods
- few-shot data experiments 表示 prompting 方式的性能优于fine-tuning
- full data experiments 展示了二者性能差不多
Offensive Influential Examples
作者在本节中，调查影响函数（IF）是否可以用于识别具有性别歧视攻击性的训练示例。作者计算每个训练示例的影响分数，然后检查最有影响的示例，以查看是否存在强烈的攻击性内容。
- Full Data 的第一行数据表示，当使用fine-tune的方式训练模型后，我们将影响分数最高的10条样本筛选出来，发现属于幽默类别样本的平均冒犯程度为1.39，而属于非幽默类别样本的平均冒犯程度为0.45，然而数据集中所有样本的平均冒犯程度为0.65。这说明幽默类别样本中冒犯程度比非幽默样本程度高（冒犯确实是引发幽默的一种因素）。
- 128-Shot 的前三行数据表示，当使用fine-tune的方式进行少样本学习后，这些8-32个有影响力的样本无法证明出冒犯和幽默的关系不太明显。然而，当使用prompt的方式进行少样本学习，强影响样本却能体现出冒犯和幽默之间的联系是密切的这个结论。尤其是我们结合上一小节中比较prompting和fine-tuning之间性能的那张图可以加强另一个结论：在少样本场景中使用prompt方法优于fine-tuning。
v1.5.2